Dance with a Robot: Encoder-Decoder Neural Network for Music-Dance Learning

https://youtu.be/gV5mkpEhnVk

Session: Late Breaking Reports

Abstract

This late-breaking report presents a method for learning sequential and temporal mapping between music and dance via the Sequence-to-Sequence (Seq2Seq) architecture. In this study, the Seq2Seq model comprises two parts: the encoder for processing the music inputs and the decoder for generating the output motion vectors. This model has the ability to accept music features and motion inputs from the user for human-robot interactive learning sessions, which outputs the motion patterns that teach the corrective movements to follow the moves from the expert dancer. Three different types of Seq2Seq models are compared in the results and applied to a simulation platform. This model will be applied in social interaction scenarios with children with autism spectrum disorder (ASD).

この最新のレポートでは、Sequence-to-Sequence (Seq2Seq)アーキテクチャを用いて、音楽とダンスの間の逐次的・時間的マッピングを学習する方法を紹介しています。本研究では、Seq2Seqモデルは、音楽入力を処理するためのエンコーダと、出力される動きベクトルを生成するためのデコーダの2つの部分から構成されています。このモデルは、人間とロボットのインタラクティブな学習セッションのために、ユーザからの音楽特徴と動きの入力を受け付ける機能を持っており、エキスパートダンサーからの動きに沿った修正動作を教える動きパターンを出力します。3種類のSeq2Seqモデルを結果で比較し、シミュレーションプラットフォームに適用した。このモデルは、自閉症スペクトラム障害（ASD）の子どもたちとの社会的相互作用のシナリオに適用される予定です。